Teste F: Testa se todas as estimativas dos parâmetros são iguais a zero.

\[ \begin{align*} H_0:\,\, & \beta_0 = \beta_1 = \ldots = \beta_k = 0 \\ H_A:\,\, & \text{Pelo menos um} \,\, \beta_k \neq 0 \\ F &= \Biggl(\frac{SQ_{total} - SQ_{residuo}}{SQ_{residuo}}\Biggr) \frac{n - k}{k - 1} \sim F_{(q,n-(k+1))} \end{align*} \]

• Se valor-p \(<\) 0.05 -> Pelo menos uma estimativa de um parâmetro é estatisticamente diferente de zero

• Se valor-p \(>\) 0.05 -> Nenhuma estimativa de parâmetro é estatisticamente diferente de zero

• O teste \(F\) é um instrumento para avaliar a significância global do modelo.

• Teste t: Testa se cada estimativa é diferentes de zero:

\[ \begin{align*} H_0:\,\, & \beta_p = 0 \\ H_A:\,\, & \beta_p \neq 0 \\ t & = \frac{\hat{\beta} - 0}{EP(\hat{\beta})} \sim t_{(n-p,\alpha)} \end{align*} \]

• Usando um software estatístico, é fácil calcular a probabilidade de observar um valor igual o maior que \(|t|\), ou seja, o valor-p.

• Se valor-p \(<\) 0.05 -> A estimativa é estatisticamente diferente de zero.

• Se valor-p \(>\) 0.05 -> A estimativa não é estatisticamente diferente de zero.

• Medidas da qualidade de ajuste tentam analisar o quão bem nosso modelo descreve (se ajusta) aos dados.

• Medida comum: \(R^2\) [R-quadrado] (também conhecido como coeficiente de determinação)

\[ R^2 = \dfrac{\sum_i (\hat{y}_i - \overline{y})^2}{\sum_i \left( y_i - \overline{y} \right)^2} = 1 - \dfrac{\sum_i \left( y_i - \hat{y}_i \right)^2}{\sum_i \left( y_i - \overline{y} \right)^2} \]

• Observe nossa velha amiga RSS: \(\sum_i \left( y_i - \hat{y}_i \right)^2 = \sum_i e_i^2 = \epsilon'\epsilon\).

• \(R^2\) literalmente nos diz a parcela da variância em \(y\) que nossos modelos atuais consideram. Assim, \(0 \leq R^2 \leq 1\) (100%).

• Problema: À medida que adicionamos variáveis ao modelo, \(R^2\) aumenta mecanicamente.

• Solução: O \(R^2\)-ajustado penaliza o número de variáveis no modelo.

\[ \overline{R}^2 = 1 - \dfrac{\sum_i \left( y_i - \hat{y}_i \right)^2/(n-k-1)}{\sum_i \left( y_i - \overline{y} \right)^2/(n-1)} \]

• Observação: o \(R^2\) ajustado não precisa estar entre 0 e 1.

Há compensações a serem lembradas conforme adicionamos/removemos variáveis:

Menos variáveis:

• Geralmente explicam menos variação em \(y\).
• Fornecem interpretações e visualizações simples (parcimoniosas).
• Pode ser necessário se preocupar com o viés de variável omitida.

Mais variáveis

• Maior probabilidade de encontrar relacionamentos espúrios (estatisticamente significativos devido ao acaso — não refletem um relacionamento verdadeiro em nível populacional).
• Mais difícil de interpretar o modelo.
• Você ainda pode não incluir variáveis importantes — (viés de variável omitida).

• Usamos o teste\(-t\) para testar hipóteses únicas, ou seja, hipóteses envolvendo apenas um parâmetro. Mas e se quisermos testar mais de um parâmetro simultaneamente?

• Fazemos isso usando o Teste\(-F\). O Teste\(-F\) envolve estimar 2 regressões:

  • Uma regressão irrestrita
  • Uma regressão restrita

• Considere o seguinte modelo de regressão múltipla:

\[ Y_{i} = \beta_0 + \beta_1 X_{1} + \beta_2 X_{2} + \beta_3 X_{3} + \epsilon_{i} \]

• E que desejamos testar \(H_0:\,\beta_2 + \beta_3 = 1\) ou \(H_0:\, \beta_2 = 1\)

• a regressão irrestrita é:

\[ Y_{i} = \beta_0 + \beta_1 X_{1} + \beta_2 X_{2} + \beta_3 X_{3} + \epsilon_{i} \] - a regressão restrita é:

\[ \begin{align*} Y_{i} &= \beta_0 + \beta_1 X_{1} + \beta_2 X_{2} + \beta_3 X_{3} + \epsilon_{i} \,\, sujeito\,\,a \quad (\beta_2 + \beta_3 = 1) \\ Y_{i} &= \beta_0 + \beta_1 X_{1} + \beta_2 X_{2} + (1-\beta_2) X_{3} + \epsilon_{i} \\ Y_{i} &= \beta_0 + \beta_1 X_{1} + \beta_2 X_{2} + X_{3} - \beta_2 X_{3} + \epsilon_{i} \\ Y_{i} - X_{3} &= \beta_0 + \beta_1 X_{1} + \beta_2 (X_{2} - X_{3}) + \epsilon_{i} \\ \end{align*} \]

• Estatística de Teste e Distribuição:

\[ F_{calc} = \Biggl(\frac{SQR_{restrito} - SQR_{irrestrito}}{SQR_{irrestrito}}\Biggr) \frac{n - k}{m} \sim F_{(m,n-k)} \]

• sendo: \(n=\) n. de observações, \(k=\) número de preditores na regressão irrestrita e $m = $ número de restrições.

• Rejetia-se \(H0\) contendo a restrição se \(F_{calc} > F_{(m,n-k)}\), ou de analisando-se o valor-p:

• Se valor-p \(<\) 0.05 -> Os resultados fornecem evidência para
  rejeitar a \(H0\) contendo a restrição.

• Se valor-p \(>\) 0.05 -> OS resultados fornecem evidência para não rejeitar a \(H0\) contendo a restrição.

Considere o seguinte modelo de regressão linear simples:

\[ \text{Salário}_i = \beta_0 + \beta_1 \, \text{Escola}_i + u_i \]

sendo:

• \(\text{Salário}_i\) uma variável contínua que mede o salário de um indivíduo.
• \(\text{Educacao}_i\) uma variável contínua que medida em anos de educação formal.

Interpretações

• \(\beta_0\): o intercepto-\(y\), i.e., \(\text{Salário}\) quando \(\text{Escola} = 0\).
• \(\beta_1\): o aumento esperado em \(\text{Salário}\) para um aumento de uma unidade em \(\text{Educacao}\)

Derivando a interpretação de \(\beta_1\):

\[ \begin{aligned} \mathop{\boldsymbol{E}}\left[ \text{Salario} | \text{Educacao} = \ell + 1 \right] - \mathop{\boldsymbol{E}}\left[ \text{Salario} | \text{Educacao} = \ell \right] &= \\[0.5em] \mathop{\boldsymbol{E}}\left[ \beta_0 + \beta_1 (\ell + 1) + u \right] - \mathop{\boldsymbol{E}}\left[ \beta_0 + \beta_1 \ell + u \right] &= \\[0.5em] \left[ \beta_0 + \beta_1 (\ell + 1) \right] - \left[ \beta_0 + \beta_1 \ell \right] &= \\[0.5em] \beta_0 - \beta_0 + \beta_1 \ell - \beta_1 \ell + \beta_1 &= \beta_1 \end{aligned} \]

I.e., \(\beta_1\) fornece o aumento esperado na variável resposta para um aumento de uma unidade na variável explicativa.

Se tivermos múltiplas variáveis explicativas, por exemplo:

\[ \text{Salario}_i = \beta_0 + \beta_1 \, \text{Educacao}_i + \beta_2 \, \text{Habilidade}_i + u_i \]

então a interpretação muda um pouco:

\[ \begin{aligned} \mathop{\boldsymbol{E}}\left[ \text{Salario} | \text{Educacao} = \ell + 1 \land \text{Habilidade} = \alpha \right] - & \\ \mathop{\boldsymbol{E}}\left[ \text{Salario} | \text{Educacao} = \ell \land \text{Habilidade} = \alpha \right] &= \\ \mathop{\boldsymbol{E}}\left[ \beta_0 + \beta_1 (\ell + 1) + \beta_2 \alpha + u \right] - \mathop{\boldsymbol{E}}\left[ \beta_0 + \beta_1 \ell + \beta_2 \alpha + u \right] &= \\ \left[ \beta_0 + \beta_1 (\ell + 1) + \beta_2 \alpha \right] - \left[ \beta_0 + \beta_1 \ell + \beta_2 \alpha \right] &= \\ \beta_0 - \beta_0 + \beta_1 \ell - \beta_1 \ell + \beta_1 + \beta_2 \alpha - \beta_2 \alpha &= \beta_1 \end{aligned} \]

I.e., \(\beta_1\) fornece o aumento esperado na variável resposta para um aumento de uma unidade na variável explicativa, mantendo todas as outras variáveis constantes (ceteris paribus).

• Derivação alternativa

Considere o modelo

\[ y = \beta_0 + \beta_1 \, x + u \]

Diferencie o modelo em relação a \(x\):

\[ \dfrac{dy}{dx} = \beta_1 \]

Considere o modelo de regressão linear simples:

\[ \text{Salário}_i = \beta_0 + \beta_1 \, \text{Mulher}_i + u_i \]

sendo:

• \(\text{Salário}_i\) uma variável contínua que mede o salário de um indivíduo.
• \(\text{Mulher}_i\) uma variável binária igual a \(1\) quando \(i\) é mulher.

Interpretações:

• \(\beta_0\): o \(\text{Salário}\) esperado para homens (i.e., quando \(\text{Mulher} = 0\)).
• \(\beta_1\): a diferença esperada do \(\text{Salário}\) entre mulheres e homens.
• \(\beta_0 + \beta_1\): o \(\text{Salário}\) esperado para mulheres.

Derivação:

\[ \begin{aligned} \mathop{\boldsymbol{E}}\left[ \text{Salario} | \text{Homem} \right] &= \mathop{\boldsymbol{E}}\left[ \beta_0 + \beta_1\times 0 + u_i \right] \\ &= \mathop{\boldsymbol{E}}\left[ \beta_0 + 0 + u_i \right] \\ &= \beta_0 \end{aligned} \]

\[ \begin{aligned} \mathop{\boldsymbol{E}}\left[ \text{Salario} | \text{Mulher} \right] &= \mathop{\boldsymbol{E}}\left[ \beta_0 + \beta_1\times 1 + u_i \right] \\ &= \mathop{\boldsymbol{E}}\left[ \beta_0 + \beta_1 + u_i \right] \\ &= \beta_0 + \beta_1 \end{aligned} \]

Obs.:

• Se não houver outras variáveis para condicionar, então \(\hat{\beta}_1\) é igual à diferença nas médias dos grupos, por exemplo, \(\overline{x}_\text{Mulher} - \overline{x}_\text{Homem}\).

• A interpretação de manter todas as outras variáveis constantes também se aplica a variáveis categóricas em modelos de regressão múltipla.

As interações permitem que o efeito de uma variável mude com base no nível de outra variável.

Exemplos

• O efeito da escolaridade no salário muda por gênero?

• O efeito do gênero no salário muda por raça?

• O efeito da escolaridade no salário muda por experiência?

• Anteriormente, consideramos um modelo que permitia que mulheres e homens tivessem salários diferentes, mas o modelo assumia que o efeito da educação no salário era o mesmo para todos:

\[ \text{Salário}_i = \beta_0 + \beta_1 \, \text{Educacao}_i + \beta_2 \, \text{Mulher}_i + u_i \]

• mas podemos permitir também que o efeito da educação varie por gênero:

\[ \text{Salário}_i = \beta_0 + \beta_1 \, \text{Educacao}_i + \beta_2 \, \text{Mulher}_i + \beta_3 \, \text{Educacao}_i\times\text{Mulher}_i + u_i \]

Interpretar coeficientes pode ser um pouco complicado com interações, mas o segredo é trabalhar cuidadosamente a matemática:

\[ \text{Salário}_i = \beta_0 + \beta_1 \, \text{Educação}_i + \beta_2 \, \text{Mulher}_i + \beta_3 \, \text{Educação}_i\times\text{Mulher}_i + u_i \] Retornos esperados para um ano adicional de escolaridade para mulheres:

\[ \begin{aligned} \mathop{\boldsymbol{E}}\left[ \text{Salário}_i | \text{Mulher} \land \text{Educação} = \ell + 1 \right] - \mathop{\boldsymbol{E}}\left[ \text{Salário}_i | \text{Mulher} \land \text{Educação} = \ell \right] &= \\ \mathop{\boldsymbol{E}}\left[ \beta_0 + \beta_1 (\ell+1) + \beta_2 + \beta_3 (\ell + 1) + u_i \right] - \mathop{\boldsymbol{E}}\left[ \beta_0 + \beta_1 \ell + \beta_2 + \beta_3 \ell + u_i \right] &= \\ \beta_1 + \beta_3 \end{aligned} \]

• De forma similar, \(\beta_1\) fornece o retorno esperado para um ano adicional de educação para homens.

• Assim, \(\beta_3\) fornece a diferença nos retornos da educação para mulheres e homens.

• Em diversos casos, podemos obter melhores modelos utilizando transformaçãoes das variáveis \(Y\) e/ou \(X\).

• Por quê?

  • A primeira razão pode ser dar às variáveis propriedades estatísticas que funcionam melhor com a regressão. Por exemplo, podemos querer reduzir a assimetria.

  • A segunda razão para transformar uma variável é tentar obter uma relação linear entre as variáveis

  • A teoria que fundamenta o modelo sugere a transformação. Por exemplo, os diversos tipos de elasticidades definidos na teoria microeconômica tem uma clara relação com logaritmos.

• Tomar Logaritmos, ou realizar a transformação logarítmica das variáveis, é uma das transformações mais utilizadas e comuns.

• As seguintes transformações são alternativas a problemas com logaritmos. Em particular, temos que \(\log(0)\) é indefinido.

• \(\log(x + 1)\): não recomendável.

• \(\sqrt{x}\): transformação raíz quadrada. Reduz um pouco o peso dos outliers, mas não tão bem como logaritmos

• \(\ln(x + \sqrt{x^2+1})\): função seno hiperbólica inversa. Reduz o peso dos outliers de forma similar aos logaritmos, sendo definida para zero (\(asinh(0) = 0\)). É a mais recomendada para dados com distribuição assimétrica e zeros.

• Esta transformação não trata de assimetria ou linearização de um modelo, mas com outliers (valores extremos).

• Winsorizing, especialmente popular em finanças, é o processo de tomar alguns dados e reduzir os extremos. Simplesmente tomamos todos os valores que estão longe o suficiente do centro e os reduzimoz em direção ao centro.

• Para Winsorizar os top \(X\) % dos dados superiores, tomamos todas as observações acima do percentil \(p_i\) e as substituimos pelo percentil \(p_i\).

• Por exemplo, se tivéssemos 100 observações de 1 a 100. Para Winsorizar os 5% dos ddados superiores e inferiores, mantemos as observações 6-95 e, em seguida, tomamos as observações 1, 2, 3, 4 e 5 e substituimoss por 6, e tomamos as observações 96, 97, 98, 99 e 100 oe substituimos por 95.

• Este é um método força bruta para lidar com outliers, mas tende a funcionar. Deixa a maioria dos dados intocados, o que é bom se você acha que o verdadeiro relacionamento é realmente linear, mas não quer que seu modelo seja muito influenciado por valores discrepantes.

Como o método dos MQO minimiza a soma dos erros quadrados, os outliers podem desempenhar um papel importante NAS estimativas.

Respostas comuns

• Remova os outliers dos dados. Justifique.

• Substitua os outliers pelo 99º percentil de sua variável (Windsorize). Força Bruta.

• Tome o logaritmo da variável para “cuidar” dos outliers.

• Não faça nada. Os outliers nem sempre são ruins. Algumas observações estão “longe” da média. Pode não fazer sentido tentar mudar essa variação.

• Da mesma forma, dados ausentes podem afetar seus resultados.

• R não sabe como lidar com uma observação ausente.

1 + 2 + 3 + NA + 5

[1] NA

• Se você executar uma regressão com valores ausentes, R remove as observações ausente.

• Se as observações estiverem ausentes de forma não aleatória, uma amostra aleatória pode acabar não aleatória.